<?php if ( ! defined('BASEPATH')) exit('No direct script access allowed'); 
class Kelas_pemisahan {
	
	/*
	 * $data yang masuk berupa string
	 * fungsi tokenizing berfungsi memisah kalimat menjadi kata
	 * */
	function tokenizing($kalimat){
		//pattern atau biasa disebut dengan split
		$split = " /[\s,.!-?@#$%^&*~`]+()/";
		/*
		 * (perbaiki dulu)
		 * - array_unique berfungsi menghapus array yang duplikat
		 * - preg_split berfungsi memisahkan kalimat string objek menjadi kata-kata
		 * berdasarkan pattern yang sudah ditentukan
		 * - strtolower berfungsi untuk lowercase dengan tipe data string str,
		 * sehingga apabila datanya berupa string objek, perlu di-convert
		 * dengan cara memberikan tanda (string) di depan data.
		 * 
		 * return array kata
		 * */
		$kata =  preg_split($split,strtolower((string)$kalimat));
		return $kata;
	}
	
	function filtering($tokenizing,$data_filter){
		
		/*
		 * buat filter di database (oke)
		 * buat tabel berisi id filter & isi filter (oke)
		 * berisi string, nanti dipanggil, kemudian dipecah dalam bentuk
		 * array (oke)
		 * memanggil fungsi tokenizing untuk memisah kamus filtering(oke)
		 * */
		 $filter = $this->tokenizing($data_filter);
		$result=str_ireplace($filter, null, $tokenizing);
		return $result;
	}
}
